Harvey đã kết hôn ba lần và có bảy đứa con. Ông có hai đứa con gái sinh đôi, Karli and Brandi (sinh năm 1982), và một con trai Broderick Steve Jr. (sinh năm 1991),từ người vợ đầu tiên của ông[37] Marcia Harvey.[10] Harvey cũng có một người con trai khác, Wynton (sinh 1997), từ người vợ thứ hai của ông Mary Shackelford.[38] Họ đã ly dị vào tháng 11 năm 2005.[39] Trong năm 2011, Collin County (Texas) thẩm phán thứ 199 của Toàn án Quận Robert Dry bày tỏ sự quan ngại về việc Mary Harvey đưa thông tin thất thiệt về việc ly dị của họ rằng cô ta không nhận đầy đủ bồi thường.[40][41]

Vào tháng 6 năm 2007, ông kết hôn với  Marjorie Bridges, người mà ông nói đã làm cho ông trở thành người đàn ông tốt hơn và thay đổi cuộc đời ông. Marjorie Harvey có 3 đứa con từ các cuộc hôn nhân đầu tiên của mình, Morgan Harvey (sinh 1987), Jason Harvey (sinh 1991), and Lori Harvey (sinh 1997). Steve coi những đứa trẻ đó như con đẻ của mình. Steve và Marjorie có cùng nhau ba đứa cháu, Rose Harvey (sinh năm 2014) và  Noah Harvey (Ngày 21 tháng 8,2015), từ cuộc hôn nhân của Jason và Amanda, và con gái của Morgan- Elle (sinh 2015) cùng chồng cô Kareem.[42] Harvey và gia đình ông hay đến Atlanta (nơi có chương trình radio của ông và Feud) và Chicago (nơi ông dẫn chương trình cho NBCUniversal từ hãng sản xuất Chicago studios, mặc dù ông dẫn chương trình radio khá là tốt).[43]